적응형 학습률 조절

손실 함수는 머신러닝 모델의 예측이 실제 값과 얼마나 차이가 나는지를 측정하는 지표이다. 이 함수의 값을 최소화하는 것이 모델 학습의 핵심 목표이다. 손실 함수는 모델의 가중치를 입력으로 받아 하나의 실수 값을 출력하며, 이 값이 작을수록 모델의 성능이 좋다고 판단한다[2].

기울기는 손실 함수의 변화율을 나타내는 벡터이다. 정확히는, 현재 가중치 지점에서 손실 함수를 각 가중치에 대해 편미분한 값들의 집합이다. 기울기의 방향은 손실 함수가 가장 가파르게 증가하는 방향을 가리킨다. 따라서, 학습의 기본 아이디어는 이 기울기의 반대 방향으로 가중치를 조금씩 업데이트하여 손실 함수 값을 점차 낮추는 것이다. 이 과정을 경사 하강법이라고 부른다.

기울기의 크기(노름)는 현재 지점에서의 경사의 가파른 정도를 의미한다. 매우 가파른 경사는 큰 기울기를, 완만한 경사는 작은 기울기를 가진다. 적응형 학습률 알고리즘들은 바로 이 기울기의 크기 정보를 활용하여 각 가중치마다 다른 학습 보폭을 적용한다. 큰 기울기를 가진 매개변수는 상대적으로 작은 보폭으로, 작은 기울기를 가진 매개변수는 상대적으로 큰 보폭으로 업데이트하여 더 효율적이고 안정적인 학습을 도모한다.

학습률은 기계 학습 모델의 매개변수를 업데이트할 때, 계산된 기울기에 곱해지는 스케일링 계수이다. 이 값은 단일 반복(iteration)에서 매개변수가 얼마나 크게 변경될지를 결정한다. 너무 높은 학습률은 손실 함수의 최적점을 지나쳐 발산하게 만들고, 너무 낮은 학습률은 학습 속도를 극단적으로 느리게 하거나 지역 최적점에 갇히게 만든다. 따라서 학습률의 적절한 설정은 모델이 효율적으로 수렴하는 데 필수적이다.

학습률의 역할은 단순히 속도를 조절하는 것을 넘어, 최적화 과정의 안정성과 최종 성능에 직접적인 영향을 미친다. 고정된 학습률을 사용할 경우, 학습 초기에는 큰 업데이트가 유리할 수 있지만, 최적점에 가까워질수록 작은 조정이 필요해진다. 또한, 데이터의 특성이나 모델의 깊이에 따라 각 매개변수에 이상적인 학습률 스케일이 다를 수 있다. 이러한 문제를 해결하기 위해 등장한 개념이 적응형 학습률 조절이다.

다음 표는 고정 학습률과 적응형 학습률의 일반적인 특성을 비교한다.

적응형 학습률 알고리즘들은 각 매개변수에 대해 과거 기울기 정보를 활용해 독립적인 학습률을 동적으로 계산한다. 이를 통해 희소한(sparse) 특징을 가진 매개변수는 더 자주, 더 크게 업데이트하고, 자주 등장하는 특징의 매개변수는 점차 작은 스텝으로 업데이트하는 방식으로 최적화 효율을 높인다.

AdaGrad(Adaptive Gradient Algorithm)는 2011년 존 더치(John Duchi) 등에 의해 제안된 초기의 적응형 학습률 알고리즘이다. 이 알고리즘의 핵심 아이디어는 각 모델 파라미터에 대해 지금까지 누적된 기울기(gradient)의 제곱값을 이용하여 학습률을 개별적으로 조정하는 것이다. 구체적으로, 각 파라미터의 학습률은 그 파라미터에 대한 과거 기울기 제곱값의 합의 제곱근에 반비례하도록 설정된다. 이는 자주 등장하여 큰 기울기를 가진 파라미터는 학습률을 작게 만들어 세밀하게 조정하고, 드물게 등장하거나 작은 기울기를 가진 파라미터는 학습률을 상대적으로 크게 유지하여 빠르게 업데이트하도록 한다.

AdaGrad의 업데이트 규칙은 다음과 같은 수식으로 표현된다. 시간 스텝 \( t \)에서 파라미터 \( \theta_i \)에 대한 기울기를 \( g_{t, i} \)라고 할 때, 먼저 기울기 제곱의 누적 합 \( G_{t, ii} \)를 계산한다: \( G_{t, ii} = \sum_{\tau=1}^t g_{\tau, i}^2 \). 이후 파라미터 업데이트는 \( \theta_{t+1, i} = \theta_{t, i} - \frac{\eta}{\sqrt{G_{t, ii} + \epsilon}} \cdot g_{t, i} \) 로 수행된다. 여기서 \( \eta \)는 전역 학습률(초기 학습률)이며, \( \epsilon \)은 분모가 0이 되는 것을 방지하기 위한 매우 작은 상수(예: \(10^{-8}\))이다. 분모에 제곱근을 취하는 것은 기울기의 스케일을 정규화하는 효과가 있다.

AdaGrad의 주요 장점은 스파스 데이터를 다루는 문제, 예를 들어 자연어 처리에서의 단어 임베딩 학습 등에 매우 효과적이라는 점이다. 빈번히 등장하지 않는 특성(희소한 특성)에 해당하는 파라미터는 누적 기울기 제곱합이 작아 학습률이 상대적으로 커지므로, 적은 등장 횟수로도 의미 있는 업데이트가 가능해진다. 또한 학습률을 수동으로 조정할 필요가 크게 줄어들어 사용이 편리하다.

그러나 AdaGrad는 명확한 한계를 지니고 있다. 시간이 지남에 따라 기울기 제곱이 계속 누적되어 \( G_t \) 값이 단조 증가하게 되므로, 학습률이 지나치게 작아져 결국 0에 수렴하는 문제가 발생한다. 이는 학습이 장기화될수록 파라미터 업데이트가 사실상 중단되는 것을 의미하며, 전역 최솟값(global minimum)에 도달하기 전에 학습이 조기 종료될 수 있다. 이 한계점을 해결하기 위해 이후 RMSProp과 Adam 같은 알고리즘이 개발되었다.

RMSProp은 적응형 학습률 조절 알고리즘 중 하나로, AdaGrad의 학습률이 지나치게 빠르게 감소하는 문제를 해결하기 위해 제안되었다. 이 알고리즘의 핵심 아이디어는 과거 기울기의 제곱값에 대한 지수 이동 평균을 계산하여 학습률을 조정하는 것이다. 이를 통해 최근 기울기 정보에 더 큰 가중치를 부여함으로써, AdaGrad가 갖는 누적 합의 무한 증가 문제를 완화한다.

알고리즘은 각 매개변수에 대해 기울기의 제곱에 대한 이동 평균을 유지한다. 이 평균은 감쇠율(보통 0.9)을 사용해 계산되며, 이는 새로운 기울기 정보가 과거 정보를 점진적으로 대체하게 만든다. 그런 다음, 이 평균의 제곱근에 반비례하는 크기로 학습률을 스케일링하여 매개변수를 갱신한다. 결과적으로, 자주 등장하거나 크기가 큰 기울기를 갖는 매개변수는 낮은 학습률을 받고, 드물게 등장하거나 크기가 작은 기울기를 갖는 매개변수는 상대적으로 높은 학습률을 받게 된다.

RMSProp은 특히 비정상 환경이나 순환 신경망 훈련에서 안정적인 성능을 보이는 것으로 알려져 있다. 다음은 간략한 알고리즘의 단계를 나타낸다.

여기서 η는 전역 학습률, gₜ는 시간 t에서의 기울기, ε는 0으로 나누는 것을 방지하는 작은 상수이다. 이 방식은 Adam과 같은 후속 알고리즘의 기초를 제공했다.

Adam(Adaptive Moment Estimation)은 RMSProp과 모멘텀 방법을 결합한 적응형 학습률 알고리즘이다. 2014년 디데리크 킹마와 지미 바가 제안했으며, 현재 딥러닝 모델 훈련에서 가장 널리 사용되는 옵티마이저 중 하나이다. Adam은 각 매개변수에 대해 개별적으로 학습률을 조정하면서, 과거 기울기의 지수 가중 평균(1차 모멘트 추정)과 제곱 기울기의 지수 가중 평균(2차 모멘트 추정)을 모두 활용한다.

알고리즘은 크게 네 단계로 작동한다. 첫째, 현재 미니배치의 기울기를 계산한다. 둘째, 1차 모멘트(기울기의 평균)와 2차 모멘트(기울기의 제곱 평균)의 편향 보정된 지수 이동 평균을 추정한다. 셋째, 이 추정값을 사용하여 각 매개변수의 업데이트 크기와 방향을 결정한다. 업데이트 규칙은 일반적으로 다음과 같은 형태를 가진다.

여기서 \( \alpha \)는 학습률, \( \beta_1 \)과 \( \beta_2 \)는 각각 1차 및 2차 모멘트의 감쇠율(일반적으로 0.9와 0.999로 설정), \( \epsilon \)은 수치 안정성을 위한 작은 상수이다. 편향 보정은 초기 반복에서 모멘트 추정값이 0에 치우치는 문제를 해결한다.

Adam의 주요 장점은 스파스 데이터에서도 잘 작동하며, 학습률을 수동으로 크게 조정할 필요가 적다는 점이다. 또한 RMSProp의 적응적 학습률과 모멘텀의 관성 효과를 동시에 얻어, 골짜기 같은 복잡한 손실 함수 표면을 따라 효율적으로 수렴한다. 이러한 특징으로 인해 컴퓨터 비전, 자연어 처리 등 다양한 인공신경망 모델의 훈련에 표준적으로 채택된다.

AdaDelta는 제프리 힌튼의 연구실에서 개발된 적응형 학습률 알고리즘이다. 이 방법은 AdaGrad의 주요 단점인 학습률의 지나친 감소 문제를 해결하기 위해 제안되었다. AdaGrad는 과거 기울기의 제곱을 누적하여 학습률을 조정하는데, 이 누적 합이 시간에 따라 단조 증가하면 학습률이 극도로 작아져 학습이 조기에 중단될 수 있다. AdaDelta는 이를 해결하기 위해 고정된 크기의 윈도우를 사용해 기울기의 변화를 제한적으로 누적하는 방식을 도입했다.

구체적으로, AdaDelta는 기울기 제곱의 누적 합 대신, 감쇠율을 적용한 지수 이동 평균(Exponential Moving Average, EMA)을 사용한다. 이는 최근의 기울기 정보에 더 큰 가중치를 주면서도, 누적 합이 무한정 커지지 않도록 한다. 알고리즘의 핵심은 두 개의 상태 변수를 유지하는 것이다. 하나는 기울기 제곱의 EMA인 E[g²]이고, 다른 하나는 매개변수 업데이트 크기 제곱의 EMA인 E[Δx²]이다. 매개변수 업데이트 Δx는 다음과 같이 계산된다.

여기서 ρ는 감쇠율(예: 0.95)이며, RMS[·]는 제곱평균제곱근(Root Mean Square)을 의미한다. 핵심은 업데이트 단위가 학습률 하이퍼파라미터 대신, 과거 업데이트 크기의 RMS 값으로 정규화된다는 점이다. 따라서 명시적인 학습률 설정이 필요하지 않다는 장점이 있다.

AdaDelta는 RMSProp 알고리즘과 매우 유사한데, RMSProp이 학습률 하이퍼파라미터를 여전히 필요로 하는 반면, AdaDelta는 이를 제거했다는 차이가 있다. 이로 인해 하이퍼파라미터 튜닝 부담이 줄어들고, 특히 초기 학습률 설정에 민감하지 않은 안정적인 학습이 가능해진다. 그러나 여전히 감쇠율 ρ와 작은 상수 ε(수치적 안정성을 위한)은 튜닝이 필요하다. 이 방법은 스파스 데이터나 그래디언트의 스케일이 크게 변하는 문제에 효과적으로 대응하며, Adam 알고리즘 등장 이전에 널리 사용되었다.

모멘텀은 물리학의 운동량 개념에서 착안한 최적화 기법이다. 이 방법은 과거 기울기의 이동 평균을 계산하여 현재의 업데이트 방향을 결정한다. 구체적으로, 매 단계에서 계산된 기울기에 모멘텀 계수(보통 0.9에 가까운 값)를 곱해 누적하고, 이 누적된 벡터를 사용해 매개변수를 갱신한다. 이는 공이 언덕을 굴러내려올 때 관성에 의해 방향을 유지하는 것과 유사하게, 최적화 과정에서 갑작스러운 방향 전환을 완화하고 골짜기 바닥을 따라 더 효율적으로 수렴하도록 돕는다.

적응형 학습률 알고리즘은 이 모멘텀 개념을 각 매개변수의 특성에 맞춰 학습률을 조정하는 적응 메커니즘과 결합한다. 모멘텀은 업데이트의 '방향'을 부드럽게 만드는 반면, 적응은 각 매개변수 차원별로 '보폭(학습률)'의 크기를 동적으로 조정한다. 예를 들어, Adam 알고리즘은 1차 모멘텀(기울기의 지수 가중 평균)과 2차 모멘텀(기울기 제곱의 지수 가중 평균)을 모두 추정하여 이 두 정보를 결합한다.

이 결합의 핵심 이점은 두 방법의 상호 보완성에 있다. 모멘텀만 사용하면 모든 매개변수에 동일한 고정 학습률이 적용되어 스파스하거나 스케일이 다른 데이터에 비효율적일 수 있다. 반면, 적응형 학습률만 사용하면 업데이트 방향이 현재 기울기에 너무 민감해져 수렴 궤적이 진동할 수 있다. 따라서 모멘텀과 적응을 함께 사용하면, 안정적인 방향 벡터(모멘텀)와 매개변수별 적절한 보폭(적응형 학습률)을 동시에 얻을 수 있다. 이는 잡음이 많은 기울기나 병목 현상이 있는 손실 함수 지형에서 특히 효과적이다.

2차 모멘트 추정은 적응형 학습률 조절 알고리즘에서 과거 기울기 제곱값의 지수 이동 평균을 계산하는 과정을 가리킨다. 이는 기울기의 분산 또는 스케일을 추정하여, 각 매개변수에 대한 학습률을 동적으로 조정하는 데 핵심적인 역할을 한다. 1차 모멘트(기울기의 평균 방향)가 모멘텀을 제공한다면, 2차 모멘트는 기울기의 크기 변화를 기록하여 업데이트의 스케일을 조정하는 정보를 제공한다.

주요 알고리즘별 2차 모멘트 추정 방식은 다음과 같이 차이를 보인다.

2차 모멘트 v_t는 일반적으로 v_t = β * v_{t-1} + (1-β) * g_t^2 와 같은 재귀적 공식으로 계산된다. 여기서 g_t는 시간 단계 t에서의 기울기이고, β는 일반적으로 0.9, 0.99 또는 0.999와 같은 값으로 설정되는 감쇠율 하이퍼파라미터이다. 이 추정치는 기울기의 크기에 대한 적응형 스케일링 인자로 사용되어, 큰 기울기가 관측된 차원에는 작은 업데이트를, 작은 기울기가 관측된 차원에는 상대적으로 큰 업데이트를 수행하도록 한다.

이러한 추정은 특히 스파스 데이터나 기울기 노이즈가 큰 상황에서 안정적인 학습을 가능하게 한다. 기울기의 분산이 큰 차원에서는 2차 모멘트 값이 커져 학습률이 효과적으로 감소하며, 이로 인해 파라미터 업데이트가 과도하게 진동하는 것을 방지한다.

스파스 데이터는 대부분의 특징값이 0인 데이터를 의미한다. 자연어 처리에서의 단어 임베딩이나 추천 시스템에서의 사용자-아이템 행렬이 대표적인 예시이다. 이러한 데이터에서 기울기는 매우 불규칙하게 나타나며, 유효한 기울기는 드물게 발생하지만 그 크기는 상대적으로 클 수 있다.

고정된 학습률을 사용하는 확률적 경사 하강법은 스파스 데이터에 비효율적일 수 있다. 드물게 업데이트되는 매개변수에 대해 학습률이 너무 작으면 학습이 느려지고, 너무 크면 불안정해질 수 있다. 적응형 학습률 알고리즘은 각 매개변수에 대해 과거 기울기의 정보를 누적하여 개별적으로 학습률을 조정함으로써 이 문제를 해결한다. 예를 들어, AdaGrad는 자주 업데이트되는 매개변수의 학습률을 크게 감소시키고, 드물게 업데이트되는 매개변수는 상대적으로 큰 업데이트를 유지한다.

다음은 스파스 데이터에서의 적응형 학습률 알고리즘 동작을 요약한 표이다.

결과적으로, 적응형 학습률 기법은 스파스 데이터에서 특정 특징에 대한 학습이 불균형하게 진행되는 것을 방지하고, 전체 모델의 수렴 속도와 안정성을 크게 향상시킨다. 이는 대규모 자연어 처리 모델이나 추천 시스템 모델 학습에서 필수적인 요소로 자리 잡았다.

노이즈는 손실 함수 표면의 기울기 계산에 직접적인 영향을 미쳐 적응형 학습률 알고리즘의 동작을 변화시킨다. 노이즈가 큰 기울기 신호는 편향되지 않은 추정치이지만 분산이 크다. 이는 알고리즘이 매 단계에서 정확한 최적화 방향보다는 잡음에 민감하게 반응하도록 만들 수 있다. Adam이나 RMSProp과 같은 알고리즘은 기울기의 1차 및 2차 모멘트를 지수 이동 평균으로 추정하는데, 노이즈는 이러한 모멘트 추정값을 불안정하게 만든다. 특히 2차 모멘트(기울기의 제곱에 대한 평균)가 노이즈로 인해 과대평가되면, 학습률이 불필요하게 급격히 감소하여 수렴 속도가 느려질 수 있다.

노이즈의 영향을 완화하기 위해 알고리즘들은 하이퍼파라미터 조정을 통해 대응한다. 예를 들어, Adam의 β1(1차 모멘트 감쇠율)과 β2(2차 모멘트 감쇠율) 매개변수를 조정하여 과거 기울기 정보를 얼마나 오래 유지할지 결정한다. 노이즈가 심한 환경에서는 β2 값을 높여(예: 0.999) 2차 모멘트의 추정 창을 길게 함으로써 노이즈의 영향을 평균화하여 완화한다. 반면, β1 값은 상대적으로 낮게 설정하여(예: 0.9) 현재의 노이즈 낀 기울기 정보보다는 장기적인 추세를 더 잘 반영하도록 할 수 있다.

다음 표는 노이즈 수준에 따른 일반적인 알고리즘별 조정 방향을 보여준다.

실제로 미니배치 학습에서 배치 크기가 작을수록 기울기 추정의 노이즈는 일반적으로 증가한다. 이 경우 적응형 학습률 방법은 고정 학습률 방법보다 상대적으로 강건한 성능을 보이는 경향이 있다. 이는 적응형 방법이 파라미터별로 기울기의 역사를 고려하여 노이즈의 영향을 평균화하는 능력이 있기 때문이다. 그러나 극도로 큰 노이즈 하에서는 모든 최적화 알고리즘의 성능이 저하될 수 있으며, 데이터 전처리나 배치 크기 증가 등의 추가적인 조치가 필요하다.

딥러닝 모델은 많은 층과 수백만에서 수십억 개의 매개변수를 가지는 복잡한 구조를 특징으로 한다. 이러한 모델을 효과적으로 훈련시키기 위해서는 순전파와 역전파 과정에서 발생하는 기울기의 크기와 방향이 층마다, 시점마다 크게 달라지는 문제를 해결해야 한다. 고정된 학습률을 사용하면 깊은 층으로 갈수록 기울기가 소실되거나 폭발하는 기울기 소실 및 폭발 문제가 발생하거나, 학습 속도가 매우 느려질 수 있다. 적응형 학습률 알고리즘은 각 매개변수에 대해 개별적으로 학습률을 조정함으로써 이러한 문제를 완화하고, 더 안정적이고 빠른 수렴을 가능하게 한다.

주요 적응형 알고리즘들은 다양한 딥러닝 아키텍처에서 표준 옵티마이저로 자리 잡았다. 예를 들어, 순환 신경망이나 장단기 메모리 네트워크에서는 시간에 따른 의존성을 학습할 때 기울기의 변동이 크므로, RMSProp이나 Adam이 널리 사용된다. 합성곱 신경망을 이용한 컴퓨터 비전 작업에서는 Adam이나 그 변형들이 이미지 분류, 객체 감지 등의 모델 훈련에 효과적이다. 특히 변환기 기반의 대규모 언어 모델이나 비전 변환기를 훈련할 때는 AdamW[7]와 같은 알고리즘이 필수적으로 사용된다.

적응형 학습률의 선택은 모델의 성능에 직접적인 영향을 미친다. 아래 표는 몇 가지 대표적인 딥러닝 모델 유형과 함께 흔히 사용되는 적응형 학습률 알고리즘을 정리한 것이다.

적응형 학습률은 모델의 초기 가중치 설정, 배치 정규화 사용 여부, 그리고 데이터셋의 특성과도 밀접하게 연관되어 있다. 따라서 실제 적용 시에는 알고리즘의 하이퍼파라미터(예: Adam의 β1, β2, ε)를 실험적으로 조정하거나, 학습률 스케줄링과 결합하여 사용하는 것이 일반적이다.

대규모 데이터셋에서 적응형 학습률 알고리즘은 고정 학습률 방법보다 훨씬 효율적인 학습을 가능하게 한다. 데이터 샘플 수가 수백만에서 수십억에 이르는 경우, 확률적 경사 하강법은 각 반복에서 하나 또는 소수의 샘플만 사용하여 기울기를 추정한다. 이때 데이터의 분포가 불균일하거나 특성 간 스케일 차이가 크면, 고정 학습률은 수렴 속도를 저하시키거나 발산을 초래할 수 있다. 적응형 방법은 각 매개변수에 대해 과거 기울기 정보를 누적하여 개별적으로 학습률을 조정함으로써, 이러한 문제를 완화하고 안정적인 수렴을 돕는다.

대규모 데이터를 처리할 때는 미니배치 크기와 알고리즘의 하이퍼파라미터 설정이 중요하다. 예를 들어, Adam 알고리즘은 일반적으로 배치 크기가 클수록 더 잘 동작하는 경향이 있다. 또한, 데이터가 매우 스파스 데이터인 경우(예: 자연어 처리의 원-핫 인코딩), AdaGrad나 그 변형들은 빈번히 등장하지 않는 특성에 대한 매개변수 업데이트를 효과적으로 증폭시킬 수 있다. 이는 전체 데이터셋을 한 번 순회하는 에포크 당 소요 시간을 줄이는 동시에, 희소한 패턴을 학습하는 모델의 성능을 향상시킨다.

실제로 대규모 이미지 데이터셋인 ImageNet으로 합성곱 신경망을 학습시키거나, 웹 크롤링으로 수집된 텍스트 데이터로 트랜스포머 모델을 사전 학습할 때, Adam이나 RMSProp이 표준 옵티마이저로 널리 채택된다. 이들은 초기 학습률 설정에 덜 민감하며, 학습 과정에서 학습률을 스케줄링하지 않아도 비교적 일관된 성능을 보인다. 다음 표는 대표적인 대규모 데이터셋 학습 시나리오에서 적응형 학습률 알고리즘의 일반적인 적용 방식을 보여준다.

이러한 접근법은 분산 컴퓨팅 환경에서도 효과적이다. 데이터가 여러 머신에 분산되어 있을 때, 각 워커 노드에서 계산된 기울기에 기반하여 중앙 서버에서 매개변수를 적응적으로 업데이트할 수 있다. 결과적으로 대규모 데이터셋을 다룰 때 적응형 학습률 조절은 계산 자원을 효율적으로 사용하면서 모델의 최종 정확도를 높이는 데 필수적인 기술로 자리 잡았다.